IO Feature：人工智能—To be and How to be

-人工智能-

2023.11.26

摘要 ABSTRACT

1.Open AI创始人奥尔特曼被董事会解雇又复职，引发科技界巨大震荡；

2.首届人工智能安全峰会已于11月初举办，多国共同发表《布莱切利宣言》，旨在呼吁国际合作应对人工智能的挑战和风险；

3.在有关人工智能的国际合作越来越受到重视的今天，以GPAI为代表的一系列相关组织也应运而生。

引言

在科技高速发展的今天，对于人工智能，我们面临的已不再是“To be or not to be”的选择题，而是当其存在成为一种必然时，“To be and how to be”的问答题。

科技发展是一把双刃剑：工程和科学推动了对当今国家和全球政策至关重要的创新，科技外交成为外交政策的新前沿；而不平等现象也随着第四次工业革命的进行不断加剧，同时，技术发明带来的经济利益的滞后性使一代甚至几代人不可避免地成为技术陷阱的落难者。

在此前的人类历史上，工人反抗取代他们的新技术，政府出于稳定的考量往往只能限制新机器的使用；如今，人们也在不断探索与以人工智能为代表的新技术的相处模式，试图通过合作与沟通的力量使技术更好地服务于人类。

奥尔特曼去而复返 

 Open AI何去何从

知情者：奥尔特曼被解雇因其人工智能研究进展会威胁全人类

美国人工智能研究公司OpenAI创始人奥尔特曼被董事会解雇又复职的消息，在业界闹得沸沸扬扬。现在，又有消息披露奥尔特曼被解雇的内情，看来又会引起另一番议论。

路透社引述两名知情者报道，奥尔特曼（Sam Altman）本月17日突遭解雇的四天前，一些研究员致函董事会警告，奥尔特曼在一项人工智能（AI）技术上取得进展，能力之强大恐怕威胁全人类。

其中一名知情人士告诉路透社，奥尔特曼被开除的导火线之一，是公司内部研究人员致函董事会，警告奥尔特曼专注于构建通用人工智能（AGI）的Q*（又称Q-Star）研究计划取得了突破性进展，他们担心继续发展下去将建构出超越人类智慧的电脑，对全人类构成威胁。

值得注意的是，奥尔特曼向来主张无条件加速技术创新，通过加快运用研究成果颠覆社会结构，迫使人类不断适应。

OpenAI在高智能领域的研究上，把AGI定义为一个能力超越人类的自主系统，可以代替人类执行大部分具有经济价值的任务。报道说，研究人员认为数学是生成式人工智能发展的前沿，而现在Q*已经能够解决某些数学问题，尽管只是达到小学生的水平，但足以让研究人员对Q*未来的成功抱很大的希望。

分析说，现阶段，生成式人工智能擅长通过统计预测下一个单词来写作和翻译，不过同一问题的答案可能会有很大差异。但一旦具备数学能力，也就是只有一个正确答案，这意味着人工智能将拥有类似人类的更强推理能力。

报道说，奥尔特曼努力使ChatGPT成为历来增长最快的软件应用之一，并从微软吸引到投资和资源，使研究朝AGI更进一步。除了在本月宣布一系列新的应用工具之外，奥尔特曼上星期在旧金山举行的亚太经济合作组织（APEC）首脑峰会上更断言，他相信重大进展即将到来。

奥尔特曼当时说，OpenAI已经出现四次人工智能的突破性进展，最近一次是在几周前。一天后，他就被董事会解雇。

他被解雇后，有700多名员工恫言离开OpenAI，加入OpenAI的支持者微软。面对各方压力之下，OpenAI收回成命，宣布奥尔特曼将重返公司并担任首席执行官，同时改组董事会。

人工智能安全峰会：风险与应对

人工智能安全峰会是于2023年11月1日至2日在英国米尔顿凯恩斯的布莱切利公园举行，是有史以来第一次关于人工智能安全的全球峰会。中国科学技术部副部长吴朝晖、英国首相苏纳克、美国副总统卡玛拉·哈里斯、特斯拉首席执行官埃隆·马斯克等多名政要和科技界人士出席了这次会议。

在峰会上，包括美国、中国和欧盟在内的28个国家发表了一项名为《布莱切利宣言》的协定，呼吁国际合作应对人工智能的挑战和风险。会议重点关注了规范“前沿人工智能”的议题，这是最新和最强大的人工智能系统的术语。峰会上提出的担忧包括人工智能在恐怖主义、犯罪活动和战争中的潜在用途，以及对整个人类构成的生存风险。

前沿人工智能与人工智能安全

根据当前社会中各民间团体和企业的定义，前沿人工智能是一种功能强大、能执行各种各样任务的通用人工智能模型，其能力不亚于或超过当今最先进的模型。

人工智能技术正以前所未有的速度发展，比当前的AI功能强大许多倍的模型很可能不久后就会出现。这些模型具有的能力是难以预测的——有时甚至对于它们的构建者来说也是如此。AI技术具有广大的受众面，包括那些希望利用它实施伤害的不怀好意者。如此迅猛的发展速度意味着需要在人工智能安全监管方面立刻采取行动。我们正站在人类发展的十字路口，如何选择继续前进的道路对全人类来说都至关重要。

人工智能安全目前没有一个被普遍认可的定义，最为广泛接受的一种是“预防和减轻人工智能的危害”，包括但不限于身体、心理或经济上的伤害。这些伤害可能是故意的，也可能是意外的；可能涉及到个人、团体、组织、国家，也可能在全球范围内造成影响。

目前，英国正在推进工作以具体确定人工智能发展的前沿现在在哪里，以及未来可能发展到何种地步。美国总统拜登签署了一项行政命令，要求人工智能开发商与美国政府分享安全结果。美国政府还宣布成立美国人工智能安全研究所，并将其作为国家标准与技术研究所的一部分。

需要重点关注的风险

我们主要关注两种风险：滥用风险（Misuse risks）与失控风险（Loss of control risks）。

滥用风险：在危险技术的开发中，如果不加以制止，不怀好意者可能会借力新的人工智能技术造成各种伤害，甚至危及被害者生命。

失控风险：指当我们将自己的价值观和目标朝着先进技术靠拢时，风险可能因此产生，最终可能导致人工智能发展的失控。

真实存在的风险使开展相关国际对话变得迫切而必要。我们应讨论如何通过合作的力量应对这些风险带来的新挑战，打击非国家行为者对AI技术的滥用，并共享经验、推广行之有效的做法。

我们的目标

首届人工智能安全峰会有五大目标：

1.达成对前沿人工智能带来的风险和采取行动的必要性的共识；

2. 对前沿人工智能安全国际合作达成前瞻性共识，包括如何更好地支持各国家内部和国际上相关框架的搭建；

3.个别机构应采取的适当措施，以提高前沿人工智能安全性；

4.寻找人工智能安全研究的潜在领域，包括评估模型能力和制定有利于相关治理的新标准；

5.展示确保人工智能的安全发展将如何使人工智能在全球范围内得到恰当的应用。

GPAI：在人工智能合作方面的尝试

全球人工智能伙伴关系(The Global Partnership on Artificial Intelligence, GPAI)是一项多方利益攸关方倡议，旨在通过支持人工智能相关优先事项的前沿研究和应用活动，弥合人工智能理论与实践之间的差距。基于对经合组织(Organization for Economic Co-operation and Development, OECD)人工智能建议的共同承诺，GPAI汇集了来自科学界、工业界、民间社会、政府、国际组织和学术界的专业人士，以促进国际合作。

2023年GPAI峰会将于2023年12月13日于印度新德里召开。

相

关

说

明

新闻收集丨严雪祯

翻译 | 尹若伊

排版 | 王思宇

审核 | 张桐君 朱政宇 薛涵月